O Instituto de Física foi criado em 1964 quando a UFRJ era ainda a Universidade do Brasil. Atualmente é um instituto do Centro de Ciências Matemáticas e da Natureza (CCMN-UFRJ). Sua estrutura compreende quatro departamentos que dividem as atividades de ensino, pesquisa e extensão: Física Matemática, Física Nuclear, Física dos Sólidos e Física Teórica.
Na área de ensino de graduação, o Instituto é responsável pelos cursos bacharelado em física, física médica e licenciatura em física. Além destes três cursos, o Instituto oferece dezenas de disciplinas de serviço para milhares de alunos de graduação de quatro centros da UFRJ: o próprio CCMN, o Centro de Tecnologia (CT), o Centro de Ciências da Saúde (CCS) e o Centro de Letras e Artes (CLA). O Instituto de Física também participa diretamente do consórcio CEDERJ para a educação à distância, sendo responsável pelas disciplinas de física em todos os pólos do estado.
Já em 1970 o Instituto tinha o objetivo claro de ser um centro de pesquisas de alto nível nas diversas áreas teóricas e experimentais da física. Nessa época se iniciaram as primeiras linhas de pesquisa e com elas as atividades de mestrado, as quais foram credenciadas em 1978 pelo CFE. As atividades de doutorado foram iniciadas em 1979 e credenciadas em 1983. O programa de pós-graduação em física do Instituto é apoiado pelo programa CAPES-PROEX de fomento aos programas de conceito 6 e 7 há vários anos.
O Programa de pós-graduação em física está estreitamente acoplado às atividades de pesquisa científica desenvolvidas no âmbito do Instituto. O Instituto de Física da UFRJ tem se destacado pela excelência das pesquisas desenvolvidas na fronteira do conhecimento e desempenha um papel de liderança científica em várias áreas de pesquisa atual. O impacto e a visibilidade internacional da sua produção científica podem ser inferidos pelo número significativo de artigos publicados nas revistas do grupo Nature, na Science e na Physical Review Letters.
Além da pós-graduação em física, o Instituto abriga o programa de mestrado profissional em ensino de física, reconhecido pelo MEC em 2007. O programa tem por objetivo o aperfeiçoamento profissional de professores de Física e o desenvolvimento de métodos e materiais didáticos para o ensino da Física.
Na área de extensão, o Instituto trabalha ativamente na área de divulgação científica, por meio de palestras em eventos para o grande público e entrevistas na grande mídia proferidas por seus professores. O Laboratório Didático do Instituto de Física (LADIF) possui um importante acervo de experiências e vídeos didáticos. Ele recebe visitas agendadas de escolas da rede escolar de ensino médio e fundamental.